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QUENCES D'IMAGES 
(57) Abstract 

The method for estimating the motion according to the invention calculates a priori 
for the current image a first motion field for blocks of a first level resulting from a parti- 
tion of the image into blocks of so-called "maximum" size, from a symmetrical estimation 
algorithm, by using the preceding and following images in the sequence to calculate the 
displaced interaster differences, and a second motion field for blocks resulting from the 
partition of one block of the first level and so on up to a level of blocks of minimum size. 
The final motion field results from the selection of the best adapted motion vectors 
amongst those of different levels and is directly associated with a "quadtree" coding tree. 
The invention applies to image transmission channels, particularly in high resolution. 

(57) Abrege 

Le procede d'estimation de mouvement suivant Tinvention calcule a priori pour 
l'image courante un premier champ de mouvement pour des blocs d'un premier niveau re- 
sultant d'une partition de l'image en blocs de taille dite "maximale", a partir d'un algo- 
rithme d'estimation symetrique, utiiisant les images precedente et suivante dans la se- 
quence pour calculer les differences intertrames deplacees, puis un second champ de 
mouvement pour des blocs resultant de la partition d'un bloc du premier niveau et ainsi de 
suite jusqu'a un niveau de blocs de taille minimale. Le champ de mouvement final resulte 
de la selection des vecteurs mouvement les plus adaptes parmi ceux des differents niveaux 
et est directement associe a un arbre de codage "quadtree". L'invention s'applique aux 
chaines de transmission d'images, notamment en haute definition. 
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Precede et dlspositif d'estimation et de codage 
hierarchise du mouvement de sequences d'images 

L'invention se rapport© au domaine du traitement d 'images , 
et plus particulierement & l ! estlmation de mouvement utllisee 
dans les chaine s de transmission d'images notamment en vue de 
reduire le debit d 'informations, et a pour objet un procede et, 
5 le dispositif correspondant, d'estimatibn et de codage hierarchi- 
se et du mouvement de sequences d'images. 

L' information d'estimation de mouvement est de plus en 
plus utilisee dans toute les parties d'une chaine de transmis- 
sion de television en haute definition : 
10 - au stade de la production des images ; 

- au stade de la transmission des images ; 

- et au stade de la reception de ces memes images. 

Ainsi l'estimatlon de mouvement devient une fonction impor- 
tante dans la chaine de transmission d'images notamment en 

15 haute definition. 

Actuellement chaque equipement de la chaine de transmis- 
sion a son propre estimateur de mouvement. II semble done tres 
interessant de prevoir un seul estimateur de mouvement, dans le 
studio de production, qui soit capable d'alimenter chaque equipe- 

20 ment de la chaine de television haute definition. Mais comme 
chaque equipement ne requiert pas les memes caracteristiques 
pour l'information de mouvement, I'estimateur de mouvement uni- 
que doit avoir plusieurs sorties possibles, ou etre parametrable . 

L'invention a pour objet un procede et le dispositif cor- 

25 respondant, d f estimation et de codage du mouvement, developpe 
pour permettre le codage de sequences d'images de maniere sim- 
ple, cette information de mouvement 6tant exactement adaptee & 
un codage de type "quadtree" auquel, en outre, une regulation 
de debit est aisement applicable. 

30 De plus, dans le but d'eviter une operation d'estimation 

de mouvement & la reception qui augmenterait la complexity du 
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recepteur, cette information de mouvement peut etre transmise, 
notarament sur une voie anxiliaire de transmission de donnees 
numeriques d'assistance au d£codage de sequences d'images. 
Plusieurs avantages resultent d ! une estimation de mouvement au 
5 studio de production : 

- le premier est que la complexity et done les performan- 
ces du systeme d'estimation de mouvement peuvent etre plus 
grandes au studio de production qu'elles ne pourraient l'etre 
dans un equipement de reception ; ainsi un estimateur de mouve- 

10 ment performant et solide peut etre construit ; 

- le second est que, au studio de production, toutes les 
informations de la sequence d'images k coder sont disponibles et 
que l'estimation de mouvement est done plus performante ; 

- de plus, une estimation de mouvement qui serait effec- 
25 tuee a la reception serait perturbee par le bruit de transmission, 

Selon 1 ! invention, un procede d'estimation et de codage 
hierarchise du mouvement de sequences d'images, est caracterise 
en ce qu'il consiste : 

- a un premier niveau, k decouper l^age courante en 
20 macroblocs de 2 P+1 .2 P+1 pixels et & determiner un premier champ 

de vecteurs mouvement, associe k cette partition en macroblocs, 
en utilisant un algorlthme d'estimation iteratif et recursif 
initialise par des vecteurs mouvement estimes pour l'image 
precedente, 

25 - puis, & un deuxieme niveau, a decouper en quadrants 

chacun des macroblocs et & determiner, pour les blocs qui en 
resultent, un second champ de vecteur de mouvement en utili- 
sant le meme algorithme d'estimation mais initialise par des 

vecteurs du champ de mouvement estime au niveau precedent, 

eme 

30 ~ puis k un i niveau, i = 3 k p, k decouper chacun des 

blocs consideres au niveau i-1 en quadrants et k determiner, 
pour les blocs qui en resultent, tin i eme champ de vecteurs de 
mouvement en utilisant le meme algorithme d'estimation initia- 
lise par des vecteurs du champ de mouvement estimes au niveau 



precedent, les blocs de taille minimale etant des blocs de 
2 1+1 .2 1+1 pixels, 

- et & determiner un champ de vecteurs de mouvement 
final A partir des p champs de vecteurs de mouvement resultants 

5 en choisissant le niveau de partition le moins eleve pour lequel 
le vecteur mouvement as socle au bloc correspondant conduit & la 
minimisation d f un critere traduisant les differences de 
luminance entre blocs se correspondant dans les images successi- 
ves par les vecteurs de deplacement estimes. 
10 L*invention sera mieux comprise et d'autres caracteristi- 

ques apparaitront & I'aide de la description qui suit en refe- 
rence aux figures annexees. 

- La figure 1 illustre les informations utilisees classi- 
quement pour estimer un champ de mouvement ; 

J5 - La figure 2 illustre les informations utilisees pour 

estimer un champ de mouvement selon l'invention ; 

- La figure 3 Illustre la decomposition d f un macrobloc en 
blocs plus petits suivant 5 niveaux hierarchises ; 

- La figure 4 illustre I'enchainement des e tapes du proce- 
20 de d'estimation de mouvement selon I'invention ; 

- Les figures 5a, 5b, 5c et 5d Ulustrent les vecteurs 
deplacement s des blocs du niveau superieur retenus comme va- 
leurs initiales pour un bloc de niveau donne, selon les quatre 
positions possibles de ce dernier ; 

25 - La figure 6 detaille les e tapes de l'estlmation de mouve- 

ment a un niveau donne ; 

" La figure 7 detaille les tests mis en oeuvre pour la 
determination du champ de vecteurs mouvement final ; 

- La figure 8 illustre l'arbre de codage associe a la 
30 decomposition illustree par la figure 3. 

Une methode d'estimation de mouvement dans une sequence 
d f images precedemment decrite et utilisee est rappelee ci-apres 
succinctement pour la commodite de la description ulterieure de 
I'estimation de mouvement selon l f invention. 
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L'algorithme d 'estimation de mouvement utilise a ete de- 
crit notamment par A.N NETTtAVALI et J.D. ROB BINS dans un 
article intitule "Motion Compensated Television Coding, part. 1" 
tire de "The Bell System Technical Journal", Vol. 58, n°3, 
5 March 1979. 

Cet algorithme suppose que tous les elements d'images 
elementaires ou "pixels" d'un meme bloc ont le meme deplace - 
ment. Cet algorithme est recursif, et utilise le champ de mouve- 
ment calcule & Alteration precedente pour Alteration suivante 
10 k partir du developpement de Taylor d'une quantite qui est la 
somme sur un bloc des differences de luminance des pixels de 
deux blocs de deux trames consecutives se correspondant par le 
deplacement estime a Alteration precedente. 

Soient : 

15 ~ z(x,y) les coordonnees d'un pixel z de la trame courante 

& l f instant t, 

- I(z,t), la valeur de luminance d'un pixel z & Ainstant t, 

x v 

- Grad (z,t) et Grad^(z,t) les composantes respectivement 

horizontale et verticale du gradient de luminance au pixel z a 
20 Ainstant t, 

Dj_^ et D. les vecteurs de mouvement a deux 
composantes DjX et D^y, D._^x et Dj.jy pour un bloc de pixels, 
respectivement & Alteration i et a Alteration precedente i-1 ; 

- DFD(z-D._^,t-l) la difference inter -trames deplacee pour 
25 le pixel z, c'est-a-dire la difference entre la luminance du 

pixel z dans la trame courante & Ainstant t, et la luminance du 
pixel deplace correspondant 4 z dans la trame precedente (a 
Ainstant t-1), c'est-a-dire z deplace du vecteur mouvement Dj.j 
calcule & Alteration precedente : 

DSD(»-D i-1J t-l)=I(z,t)-I(E-D 1 . lf t-l) 

Compte-tenu de ces notations telle s qu'illustrees par la 
figure 1, le vecteur de mouvement d'un pixel z a A iteration i, 
D., est deduit du vecteur de mouvement & Alteration 

precedente i-1 par les formules suivantes ou les signes de 
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sommation ^> s'appliquent a l'ensemble des pixels z d'un bloc : 

D i _ i-1 ■ S. DFD(z-D 1 " 1 .t-l)sg(grad x (2,t)) 
X = Hc ~ |grad*(z,t)] 

i i-1 DFD(z-D M ,t-l)sg(grad y (z,t) 
*~7 ' ^ (grad^t) | 

L'algorithme utilise selon l'invention est derive de cet 
algorlthme spatio-temporel pour permettre une estimation de 
mouvement dite "symetrique". En effet, comme indique ci-dessus, 
les formules rappelees conduisent ft I'estimation du mouvement 
des blocs de la trame courante ft ^iteration i ft partlr des 
mouvements estimes pour les memes blocs ft Alteration 1-1 et en 
calculant les differences de luminance entre le bloc courant et 
le bloc correspondant apres deplacement dans la trame prece- 
dente . 

Une estimation de mouvement "symetrique" selon l f invention 
utilise, pour l f estimation du mouvement dans une trame courante 
ft Alteration i, la trame precedent la trame courante et la 
trame suivante. Les gradients sont calcules dans les trame s 
precedente et suivante et le vecteur de deplacement a ^itera- 
tion i est alors calcule ft partir du vecteur deplacement du bloc 
courant estime ft Alteration precedente 1-1 par les equations 
suivantes (qui tiennent compte des differences de l uminan ce 
entre les pixels du bloc courant et les pixels des blocs corres- 
pondents ^ deplaces de ce vecteur estime precedemment, d f une 
part dans la trame precedente et d 1 autre part dans la trame sui- 
vante) : 

1 5lPFD(z-D i ~^t-l)sK(grad^ 

*L [grad x (z-D M ,t-l)+ grad*(z + D M ,t+l)] 

1 HfDFD(z-D M ,t-l ^(grad^-D 1 " 1 ,t-l tt-DFDCz+D 1 " 1 ,t+ DsgCgrad^z+D 1 " 1 ,t+ 1 
1 [Vad^z-D 1 ' 1 ,!-!)* grad^z+D 1 " 1 ,^!)"] 
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ou sg(...) est la notation pour "signe de n la quantite qui 

suit. 

Les composantes des vecteurs peuvent efcre des composan- 

tes non entieres et une interpolation est necessalre pour calcu- 

5 ler la difference inter- trame deplacee, DFD, et les gradients. 

Pour cela les quatre elements d f images les plus proches de l'ele- 

ment d'image courant z sont utilises. 

La figure 2 montre la position des blocs deplaces dans la 

trame precedente et dans la trame suivante, correspondant & un 

10 bloc courant pour lequel le vecteur deplacement estime a I'itera- 

tion precedente est D* * de la trame precedente & la trame 

courante et done -D* ^ de la trame suivante & la trame courante 

si l*on suppose des deplacements symetriques. 

Un detail du voisinage de z-D 11 montre que, en general le 

25 vecteur deplacement conduit & un pixel deplace z-D 1 " 1 (ou 

z+D* ^) ayant une position qui ne correspond pas. & des valeurs 

entieres de x et y, En consequence les valeurs de luminance des 

quatre points du voisinage de z-D 1 " 1 (ou z+D 1 " 1 ), I 2> I g et 

sont prises en compte pour les calculs de luminance des 

20 pixels deplaces et pour le calcul des gradients. 

I/interpolation de la luminance I est bilineaire, 

e'est-i-dire qu ! elle est une somme ponderee de I,, I n , I 0 et 

i-1 1-1 l <£ o 4 

Soient : Oi = d(x-D ) et fl = d(y-D ) les parties decimales 

y i-1 
des composantes selon x et y du vecteur deplacement D : 

25 I(z-D i-1 ) = (l-oD(l-B)I 1+ ol(l-B)I 2 +(l-oC)BI 3 ^fiI 4 

La meme formule est appliquee pour le calcul de la 
luminance du pixel deplace dans l'image suivante ICz+D 1 " 1 ) & 
partir des valeurs de luminance du voisinage de z+D* 

Les gradients sont donnes par : 



30 grad W^t-l) = 

grad^z-D 1 1 ,t-l) = 3 1 2 » ^ 
avec Ij, I 2 , I 3 et I 4 4 t-1 
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et de meme pour les gradients en z+D a t+1. 

II faut done acceder & 4 points dans les memoires d'image 

precedente (t-1) et d'image suivante (t+1) pour calculer la 

luminance des points deplaces et les gradients correspondants . 

5 A titre de simplification dans les notations ulterieures : 

ICz-D 1 ' 1 ) sera note I(t-l) et I(z+D i+1 ) sera note I(t+1) et de 

meme grad x (z-D i " 1 , t-1) sera note grad x (t-l), grad x (z+D i ' 1 ,t+l) 
x 

sera note grad (t+1), les composantes selon y etant notees de la 
meme maniere, et les differences intertrames deplacees etant 
10 notees DED(t-l) et DFD(t+l). 

Ce type d f algorithme d'estimation de mouvement a deux 
parametres critiques : le nombre d'iterations permettant d'obte- 
nir les valeurs finales, et la taille de la fenetre de mesure 
o^bloc 11 : 

15 - dans le but de diminuer le nombre d'iterations necessai- 

res pour obtenir le bon vecteur de deplacement, on utilise gene- 
ralement une recursivite spatiale ou temporelle : pour une recur- 
sivite spatiale, les deplacements calcules dans le voisinage 
causal d f un bloc courant sont les valeurs initiales pour 1'itera- 

20 tion suivante ; une recursivite spatiale necessite done que les 
calculs des deplacements utilises comme valeurs initiales soient 
termines, ce qui conduit k des difficulties dans 1' implantation. 
Une recursivite temporelle n'est pas bien adaptee porir les fron- 
tieres d'objets . En consequence la recursivite . mise en oeuvre 

25 selon l'invention est une recursivite temporelle seulement pour 
l'initialisation de l f estimation de mouvement pour l , image cou- 
rante et une recursivite spatiale particuliere qui permet d'envi- 
sager une parallelisation des calculs d'estimation de mouvement 
de I'image courante. 

30 L'algorithme d'estimation de mouvement suppose qu'une 

translation constante intervient poxir tous les pixels compris k 
I'interieur d'une fenetre de mesure. Une solution ideale serait 
d'avoir une fenetre de taille variable en fonction de la taille 
des zones d'images considerees : de large s fenetres pourraient 

35 etre utilisees pour des deplacements globaux, du type panorami- 
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* ques ou basculements par exeraple, tandls que de petites fene- 
tres seraient utilisees pour des elements d'objets de tallies 
plus reduites. 

Ce principe de clas semen t des deplacements de maniere 
5 hierarchisee en fonction de la taille des zones en mouvement a 
ete etudie par plusieurs auteurs, par exemple par H, BIERLING 
et R. THOMA dans un article Intitule "Motion compensating field 
interpolation using a hierachically structured displacement 
estimator" dans la revue -Signal Processing, 11, 1986 -387-404, 
10 En resume, les caracteristiques principales en sont : 

- au premier niveau, des fenetres de me sure de grande 
taille sont utilisees pour les grands deplacements ou pour les 
deplacements constants de grande surface, 

- d'un niveau & l'autre la taille de la fenetre decroit et 
15 les vecteurs deplacements sont mis & jour. 

- la plus petite fenetre correspond au champ de mouvement 
le plus precis, 

Une telle structure hierarchisee est interessante car elle 
permet d'affiner l'estimation de mouvement 1& ou les informa- 

20 tions de mouvement ont la plus grande density. 

Generalement le champ de vecteurs mouvement resultant 
d'une estimation de mouvement selon I'un des algorithmes connus 
est forme de zones k deplacement constant ayant des tallies 
diffe rentes quelconques, seulement liees au contenu de l'image. 

25 Une estimation de mouvement de type hierarchisee classique telle 
que decrite ci-dessus genere des champs de mouvement correspon- 
dent done & des blocs de tallies quelconques et le probleme est 
alors de reunir ces differentes informations de mouvement dans 
le but d T obtenir pour chaque trame un champ de mouvement 

30 associe & des blocs de tallies aussi grandes que possible, cor- 
respondent & des zones a mouvement constant. En fait cette appro - 
che est proche de celle utilisee pour la construction d'un arbre 
de codage notamment potir un codage par quadrant ou "quad- 
tree" tel que decrit dans un article de C,A. SHAFFER et H. 

35 SAMET intitule "Optimal quadtree construction algorithm" dans 
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-Computer vision graphics and image processing, vol. 37, 
402-419 de 1987- . 

En consequence, selon l'invention, la methode d'estimation 
de mouvement hierarchisee est utilisee pour augmenter la conver- 
5 gence de l'algorithme d'estimation de mouvement recursif, mais 
elle est adaptee & la decomposition en quadrants de facon & 
obtenir simultanement I'estimation de mouvement et le codage 
correspondant de cette information de mouvement, de fa$on opti- 
male. Pour adapter au mieux I'algorithxne d'estimation de mouve- 

10 ment au codage de type "quadtree" qui sera fait ulterieurement 
du champ de mouvement resultant, les blocs d'un niveau sont le 
resultat du partage en quatre d'un bloc du niveau immediatement 
superieur comme represents sur la figure 3 qui illustre les 
differentes tallies de blocs resultant de la partition. 

15 De plus la recursivite est obtenue en utilisant le champ 

de mouvement obtenu & un niveau donne de la hierarchie pour 
calculer le champ de mouvement du niveau immediatement 
inferieur ; ainsl pour les calculs & 1'interieur d f un niveau 
donne, I'estimation de mouvement pour un bloc est independante 

20 de celle des autres blocs du voisinage au meme niveau. 

Ainsi un critere "a priori" est mis en oeuvre pour le 
calcul des vecteurs de deplacement, avec des valeurs initiales, 
et comme il va etre explique plus en details ci-apres l'organisa- 
tion des niveaux et les choix des calculs effectues sont determi- 

25 nes pour etre adaptes dans toute la mesure du possible au co- 
dage ulterieur du champ de mouvement resultant. La description 
qui suit, faite en reference & la figure 4, precise l'enchaine- 
ment des differentes etapes de l f estimation de mouvement et du 
codage associe, dans un mode de realisation de l T invention. 

30 La taille maximal© des blocs d 'elements d'image reconnue 

pour le codage etant 128x128 pixels et la taille. minimale etant 
8x8 par partages successifs de chaque bloc en 4 quadrants, le 
calcul a priori des vecteurs deplacement est effectue selon 
Tinvention d'abord pour des blocs de 128.128 pixels (niveau 1) , 

35 puis de 64.64 (niveau 2) puis de 32.32 (niveau 3), puis 16.16 
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(niveau 4) et enfln 8.8 pixels (niveau 5), independamment du 
contenu de I'image. Pour I'lnitialisation de l f estimation pour 
l'image courante, les quatre valeurs initiales pour les blocs 
les plus grands, au premier niveau (128.128) sont nulles ou 
5 quelconques pour la premiere image de la sequence, puis e gales 
aux vecteurs de mouvement des blocs 64.64 (resultant de la 
partition en 4 des blocs 128.128) de l'image precedente de la 
sequence, pour les images suivantes. Puis les quatre valeurs 
initiales recueillies pour un bloc de taille n.n proviennent du 

10 niveau precedent, done ft une taille de bloc 2n.2n. Ces valeurs 
sont les deplacements estimes pour les quatre blocs les plus 
proches de taille superieure, comme represents sur les figures 
5a, 5b, 5c et 5d ou les quatre vecteurs de deplacement Dl, D2, 
D3, D4 sont retenus lors d f un partage de blocs pour le passage 

15 au niveau suivant, selon la position de ce bloc dans le bloc de 
taille superieure dont il est issu ; ces positions sont marquees 
respectivement NW pour Nord-Ouest figure 5a, NE pour Nord-Est 
figure 5b, SW pour Sud-Ouest figure 5c et SE pour Sud-Est sur 
la figure 5d. 

20 Une etape du procede d'estimation de mouvement ft un 

niveau n est decrite plus en details ci-apres en reference ft la 
figure 6 ou on a represents les trois memoires (ou zones me- 
moire) d'images (ou de trames) respectivement pour 1 ! image sui- 
vant, Mj, (ft t+1), I'image courante (At), et l'image 

25 precedente, (ft t-1), ainsi que les valeurs de luminance des 4 
pixels entourant le pixel deplace z+D 1 " 1 ft la sortie de Mj, la 
valeur de luminance I(t) = I(z,t) ft la sortie de M 2 , et les 
valeurs de luminance des 4 pixels entourant le pixel deplace 
z-D 1 " 1 ft la sortie de Mg. 

30 Une premiere etape de calcul par point donne les valeurs 

des differences intertrames deplacees et des gradients ft partir 
des valeurs de luminance issues des memoires et des vecteurs 
deplacement initiaux, par rapport ft l f image precedente t-1, et 
par rapport ft I'image suivante ft t+1. 
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L'etape suivante consiste alors a calculer les composantes 
du vecteur deplacement selon les formules iteratives donnees 
ci-dessus, D* et I>* apres avoir calcule les sommes partielles 
des differences telle s que C-A et D-B sur I'ensemble du bloc 
5 correspondant de niveau n. 

Les quatre valeurs initiales pour chaque bloc courant, 
correspondant a des blocs du voisinage de ce bloc courant mais 
d f un niveau different, c'est-4-dire de taille immediatement supe- 
rieure, permettent d'initialiser quatre estimations de mouvement 

JO separees pour ce bloc (une seule a ete representee) et donnent 
lorsque les formules iteratives de I'algorithme ont converge 
quatre valeurs de vecteurs mouvement mises a jour, independan- 
tes, qui completent les valeurs des vecteurs des niveaux prece- 
dents. Les carres des differences intertrames DFD intermediaires 

15 utilises pour les mises a jour sont calculees, stockees en 
memoire et additionnees pour I'ensemble du bloc, de fa9on k 
choisir pour chaque bloc k l'issue des 4 calculs, le "meilleur" 
deplacement parmi les quatre nouveaux vecteurs de deplacement 
mis & jour, c'est-a-dire celui pour lequel la somme S des diffe- 

20 rences intertrames elevees au carre pour ce bloc est minimale. 
Ce meilleur vecteur constitue alors l f un des vecteurs du champ 
de mouvement calcule au niveau n. 

A l'issue de cette phase de determination a priori, effec- 
tuee pour chacun des blocs des differents niveaux, un champ de 

25 vecteurs de mouvement different correspondant & chaque niveau, 
c ! est-a-dire a chaque taille de bloc, est disponible pour deter- 
miner le champ de mouvement final adapte & la construction de 
Tarbre de codage, "quadtree" (voir figure 4), 

Quand la taille des blocs dimlnue, quelques divergences 

30 peuvent intervenir si la taille des blocs est trop petite par 
rapport a l f information de luminance ou a la taille de l'objet. 
Mais & l'inverse pour de petits objets ou des objets non rectan- 
gulaires qui ne sont pas adaptes k la decomposition initiale en 
gros blocs, le decomposition devient de plus en plus adaptee 

35 lorsque la taille du bloc diminue. Ainsi le vecteur deplacement 
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correct de chaque zone peut etre trouve parmi les cinq champs 
de mouvement disponibles pour des tallies de blocs variant entre 
128.128 et 8.8. 

A ce stade, le problems est de trouver le critere qui 
5 permet de determiner le champ de mouvement final, etape 6 fi- 
gure 4, A partir des cinq champs de mouvement ainsi calcules, 
avec des blocs de tallies aussi gran des que possibles, pour 
diminuer le debit de codage lors du codage effectue ensuite. 

Comme indique ci-dessus & chaque niveau, la somroe S sur 

JO un bloc des differences intertrames deplacees (elevees au carre) 
est stockee en memoire . Ainsi pour tin macrobloc de 128.128 
pixels, cinq zones memoire s contiennent les differences de 
luminance intertrames deplacees elevees au carre, avec les vec- 
teurs de deplacement associes DV(2) h deux compos antes : 

15 Au premier niveau, c ! est-a-dire au niveau des macroblocs 

de 128.128 pixels, une valeur de somme des differences 
intertrames deplacees au carre €S t stockee pour chaque 

bloc, ainsi que le vecteur deplacement correspondent, & 2 compo- 
santes, ^^^28 ' au n * veau 2, chaque macrobloc ayant ete 

20 partage en 4 blocs de 64.64 pixels, 4 valeurs de sommes de 
differences deplacees au carre Sg^ et quatre vecteurs de depla- 
cement correspondant a deux composantes DVg^ sont stockes 
pour chacun des macroblocs ; etc. . . ; au niveau 5, un 
macrobloc ayant ete partage en 256 blocs de 8.8. pixels, une 

25 valeur de somme de differences deplacees au carre, Sg et un 
vecteur deplacement DVg & 2 composantes correspondant & 
chacun des blocs elementaires sont stockes en memoire, soit 256 
valeurs de Sg et 256 vecteurs DVg & deux composantes pour tin 
macrobloc „ 

30 La determination du champ de mouvement resultant & partir 

des 5 champs de mouvement calcules a ces 5 niveaux est effec- 
tuee de la maniere suivante, illustree par la figure 7 : 

- Le vecteur deplacement DVj^g est affecte au macrobloc 
128.128 si S i2g est plus petit ou egal k la somme des S g4 , & la 
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somme des S^/ * 1* somme des S^g et k la somme des Sg pour 
I' ensemble du macrobloc. 

- Lorsque le vecteur mouvement BV^q n'est pas alloug, 
l'allocation est essayee sur la base des blocs 64.64 pixels : un 

5 vecteur de deplacement DV g4 est alloue k un bloc 64.64 si la 
valeur Sg^ est plus petite ou egale k la somme des & somme 

des S^g, et & la somme des S g , somme es sur le bloc 
correspondant 64.64. 

- Si un vecteur de deplacement DV g4 n'est pas alloue k un 
10 bloc 64,64, les vecteurs de deplacement des blocs correspondants 

de 32.32 elements sont essayes et un vecteur de deplacement 
DV 32 est alloue k un bloc 32.32 pixels, si Sg 2 est plus petit ou 
egal a la somme des et 4 la somme des Sg, respectivement 

somme s sur le bloc correspondant 32.32. 

15 - Si un bloc 32.32 n'a pas eu de vecteur alloue, les vec- 

teurs de deplacement des blocs 16.16 correspondants, ^V^g, 
sont essayes. Un vecteur de deplacement DV^g est alloue k tin 
bloc 16.16 si la valeur S lg associee est plus petite ou egale k 
la somme des quatre valeurs correspondantes de niveau 

20 inferieur, Sg. 

- Si un bloc 16.16 n f a pas eu de vecteur alloue, les vec- 
teurs de deplacement DVg du dernier niveau sont alloue s aux 
blocs 8.8 qui le coraposent. 

La derniere etape alors mise en oeuvre est l'etape du 
25 codage "quadtree", 7, et de regulation du debit 8 (si neces- 
saire), comme represents sur la figure 4. La connaissance des 
informations diminue le temps d'execution de la construction de 
l'arbre de codage qui peut ainsi etre moins couteux si les vec- 
teurs mouvement de blocs elementaires sont connus. De plus la 
30 re gulation du debit de coda ge de l f information de mouvement 
peut etre aisement faite. 

Un his to gramme du champ de vecteurs de deplacement 
resultant de l'etape precedente est etabli. Les vecteurs de 
deplacement correspondants & des pics de l'histograrame supe- 
35 rieurs a un seuil donne (ce seuil correspondant k une estimation 
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de mouvement jugee correcte) sont selectionnes . Ces vecteurs 
sont transmis pour chaque trame et leur nombre determine le 
nombre de bits necessaire pour qu'un mot de code puisse etre 
affecte & chacun d'eux. 
5 Le codage "quadtree" est effectue sur la base des 

macroblocs 128x128, et un arbre caracterise la decomposition de 
chacun de ces macroblocs telle qu'elle resulte du champ de mou- 
vement final correspondant . Dans l'arbre, un noeud peut etre 
une racine ou une feu Hie. Un mot de code special indique tine ra- 

10 cine, et une feuille correspond & un vecteur de deplacement. Le 
debit de codage pour un arbre est egal au nombre de noeuds 
multiplie par le nombre de bits des mots de code : pour une 
image haute definition constitute de 1152 lignes ayant chacune 
1440 elements d'image ou pixels, 108 macroblocs permettent de 

15 couvrir I'ensemble de l'image. 

Une procedure de regulation du debit de codage peut etre 
aisement effectuee en eliminant les vecteurs de mouvement les 
moins probables ou de maniere plus brutale en stoppant la divi- 
sion des blocs k la dimension minimale 16x16 par exemple. 

20 La figure 8 represente l f arbre de codage correspondant a 

un macrobloc decompose comme represente sur la figure 3. Si 15 
vecteurs de deplacement differents ont ete selectionnes, 11 y a 
16 noeuds differents, avec un mot de code special pour les 
racine s ; done 4 bits sont necessaires ; en consequence l'arbre, 

25 qui a 17 noeuds conduit k un nombre de bits, 17x4 = 68 bits. 

La demande de brevet fran?ais n° 89 08547 au nom de la 
Demanderesse decrit plus en details une procedure d 'analyse du 
champ de mouvement et d'allocation de codes correspondant & 
partir des arbres de codage correspondant & la decomposition en 
30 quadrants et la regulation correspondante lorsque le debit re- 
quis est depasse, egalement applicable au codage et & la regula- 
tion du champ de mouvement tel qu'il resulte du procede d'estima- 
tion decrit ci-dessus. 

Les resultats obtenus en suivant xm tel procede d T estima- 
35 tion de mouvement hierarchise associe a une technique de codage 
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"quadtree" ont ete evalues pour des signaux de television resul- 
tant d'une analyse entrelacee. L'estimation de mouvement est 
effectuee pour chaque trame paire, et cette information de mouve- 
ment est codee et transmise pour les trame s impaires. A la recep- 
5 tion, apres le decodage de l ! information de mouvement, les tra- 
mes impaires sont interpolees & partir des trame s paires et des 
informations de mouvement. 

Trois types de sequences ont ete testes, l'une correspon- 
dant au mouvement tres rapide d'un element d'image, une autre 

JO correspondant & une sequence d'images incluant des elements 
ayant des mouvements varies, mouvements rapide s et mouvements 
plus lents, et une sequence d'images correspondant & un zoom 
sur tin des sin tres fin. Les resultats obtenus sont compatibles 
avec les debits prevus dans les chaines de television assistees 

15 numeriquement. 

Les avantages importants qui resultent du procede d'estima- 
tion et de codage du mouvement de sequences d'images sont les 
suivants : 

A un niveau donne le traitement d'un bloc est Independant 
20 de celui des autres blocs et seuls les vecteurs de deplacement 
du voisinage defini au niveau precedent sont utilises comme 
valeurs initiates . De plus la decomposition en arbres du champ 
de mouvement peut etre construite rapidement car elle utilise 
une structure dej& existante & Tissue de Testimation de mouve- 
25 ment. 

Ce procede d'estimation de mouvement est par arnetr able 
comme requis pour etre adapte aux differentes fonctions de la 
chaine de transmission; En effet la taille du bloc de dimension 
minimale et le debit maximal sont des parametres variables. La 

30 possibility d'obtenir tin vecteur de deplacement pour chaque 
pixel, c'est-a-dire un champ de vecteurs mouvement ponctuel, a 
meme ete testee. Pour cela on suppose que tous les vecteurs 
mouvement du champ de mouvement reel de l'image appartiennent 
au champ de mouvement final resultant de l'estimateur apres 

35 determination a priori des champs de mouvement des differents 
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niveaux, c'est-a-dire qu'on n'effectue pas l'estimation & un 
niveau plus fin que celui des blocs 8.8. Puis, pour chaque 
pixel, on selectionne dans ce champs de mouvement le vecteur 
qui conduit & la difference intertrames la plus f alble . Ce vec- 
5 teur est alors un element du champ de mouvement ponctuel. 

Le dispositif d'estimation selon Invention, & la portee 
de l'homme de I'art, n f est pas represents puisqu'il comporte 
principalement des memoir es d'lmages de la sequence, des moyens 
de calcul et des memoires de stockage pour les resultats interme- 

1 0 diaires et pour les resultats finaux . II f aut cependant remar- 
quer que l f implementation du procede d 'estimation de mouvement 
selon I'invention est facilitee par le fait que les calculs, 
pour les differents macroblocs d'une trame (typiquement 108), 
puis & chaque niveau intermediaire, peuvent etre effectuees en 

25 par allele puisque, comme indique ci-dessus, les calculs pour un 
bloc & un niveau donne n ! utilisent que les valeurs dej& calcu- 
lees au niveau precedent. De meme, dans un niveau donne les 
quatre estimations separees effectuees pour chacun des blocs k 
partir de quatre valeurs initiaJ.es differentes peuvent etre 

20 effectuees en parallele puisqu'elles sont independantes . La 
parallelisation du dispositif d'estimation peut done etre impor- 
tante pourvu que les moyens de calcul le permettent. 

Enfin l T estimateur de mouvement peut alimenter chaque 
equipement du studio qui necessite l'information de mouvement ou 

25 l'information de mouvement codee. 
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REVENDICATIONS 

1. Procede d'estimation et de codage hierarchise du mouve- 
ment de sequences d'images, caracterise en ce qu'il consiste : 

- ft un premier niveau, ft decouper l f image courante en 
macroblocs de 2 P+1 .2 P+1 pixels et ft determiner un premier champ 
de vecteurs mouvement, associe ft cette partition en macroblocs, 
en utilisant un algorithme d'estimation iteratif et recursif 
initialise par des vecteurs mouvement estimes pour l'image 
precedente , 

- puis , ft un deuxieme niveau , ft decouper en quadrants 
chacun des macroblocs et ft determiner, pour les blocs qui en 
resultent, un second champ de vecteurs de mouvement en utili- 
sant le meme algorithme d'estlmation mais initialise par des 
vecteurs du champ de mouvement estime au niveau precedent, 

- puis ft un i eme niveau, i = 3 ft p, ft decouper chacun des 
blocs consideres au niveau i-1 en quadrants et ft determiner, 
pour les blocs qui en resultent, un i eme champ de vecteurs de 
mouvement en utilisant le meme algorithme d'estlmation initia- 
lise par des vecteurs du champ de mouvement estimes au niveau 
precedent, les blocs de taille minimale etant des blocs de 
2 1+1 .2 1+1 pixels, 

- et ft determiner un champ de vecteurs de mouvement 
final ft partir des p champs de vecteurs de mouvement resultants 
en choisissant le niveau de partition le moins eleve pour lequel 
le vecteur mouvement associ& au bloc correspondent conduit ft la 
minimisation d f un critere traduisant les differences de 
luminance entre blocs se correspondent dans les images successi- 
ves par les vecteurs de deplacement estimes. 

2. Procede selon la revendication 1, caracterise en ce que 
l f algorithme d'estlmation de mouvement utilise est symetrique et 
utilise, pour la determination d'un vecteur mouvement ft un rang 
d'iteration i, le vecteur mouvement determine ft Alteration i-1 
diminue de quantites fonction de differences de luminance 
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inter trames deplecees, c'est-ik-dire des sotnmes de differences de 
luminance entre les pixels du bloc courant et les pixels des 
blocs correspondent au bloc courant deplaces du vecteur mouve- 
ment, respectivement dans la trame precedente et dans la trame 
5 suivante de la sequence. 

3. Precede selon I'une des revendications 1 et 2, cerecte- 
rise en ce que, pour chaque bloc, l'elgorithme d f estimation de 
mouvement est mis en oeuvre quatre fois, initialise par quatre 
vecteurs de mouvement respectivement associes 

10 - A la premiere etape, aux quatre blocs de niveau infe- 

rieur constituant chaque macrobloc, pris dans le champ de mouve- 
ment de deuxieme niveau de l'image precedente, 

- dans les e tapes suivantes, & quatre blocs du niveau 
precedent appar tenant a un voisinage du bloc courant, dans la 

15 meme image, 

et en ce que le vecteur choisi parmi les quatre vecteurs 
resultats pour former l f un des vecteurs du champ de mouvement 
correspondent est celul qui conduit & la minimisation du critere 
traduisant les differences de luminance entre blocs se correspon- 

20 dant dans les images successives par les vecteurs de deplace- 
ment estimes correspondents. 

4. Precede selon la revendication 3, caracterlse en ce que 
les quatre vecteurs mouvement d f initialisetion des blocs du 
niveau precedent utilises comme valeurs initiales pour 1'estima- 

25 tion d f un bloc courant sont le vecteur associe au bloc de niveau 
precedent dont II est issu, et les trois vecteurs associes aux 
blocs du niveau precedent contigus & ce bloc courant. 

5. Procede selon l'une des revendications 1 & 4, caracterl- 
se en ce que le champ de mouvement final, hierarchise est direc- 

30 tement associe & un arbre de codage, de type "quadtree", corres- 
pondent & le hiererchie des blocs et des vecteurs de mouvement 
correspondents des differents nivesux selectionnes pour le chemp 
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de mouvement final, et en ce qu'une regulation du debit de co- 
da ge resultant est effectuee par selection du champ de mouve- 
ment final adapte au debit requis. 

6. Procede selon la revendication 5, caracterise en ce que 
5 la regulation est effectuee, lorsque le debit requis est depas- 

se, en eliminant du champ de vecteurs de mouvement fined les 
vecteurs les moins frequents et en les rempla<jant par les vec- 
teurs les plus proches, de frequence plus grande. 

7. Procede selon la revendication 5, caracterise en ce que 
10 la regulation est effectuee, lorsque le d£blt requis est depas- 

se, en ecartant les vecteurs du champ de mouvement associe aux 
blocs de taille minimale de la selection du champ de mouvement 
final. 

8. procede selon la revendication 1, caracterise en ce que 
15 les calculs iteratifs mis en oeuvre & un niveau donne sont effec- 

tues en parallele, les calculs d'un niveau donne prenant leurs 
valeurs d 'initialisation k un niveau precedent. 

9. Procede selon 1'une des revendications 3 et 4, caracte- 
rise en ce que les quatre calculs de vecteurs mouvement effec- 

20 tues pour chaque bloc sont effectues en parallele, ces calculs 
prenant leurs valeurs d'initiallsation & un niveau precedent. 

10. Procede selon la revendication 1, caracterise en ce 
que p est choisi egal & 5 et 1 egal & 2, les macroblocs etant 
des blocs de 128.128 pixels et les blocs de taille minimale 

25 etant des blocs de 8.8. pixels, le procede d'estimation etant 
hierarchise en S niveaux. 

11. Procede selon la revendication 1, caracterise en ce 
qu'un champ de mouvement ponctuel est etabli a partir du champ 
de mouvement final, en allouant k chaque pixel le vecteur de 
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mouvement du champ final pour lequel une difference de 
luminance inter trames entre ce pixel et le pixel deplace du 
vecteur mouvement correspondant dans la trame precedente est 
minimisee . 

5 12. Dispositif d'estimation et de codage hlerarchise du 

mouvement de sequences d 1 images, destine & la mise en oeuvre 
du procedfi selon Tune des revendications precedentes caracteri- 
se en ce qu'il comporte une memoire d t images i des moyens de 
calcul et des memoire s de travail, les moyens de calcul etant 
JO prevus pour effectuer des calculs en parallele. 
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